An der Stelle des heutigen Schlossbaus stand zunächst das Benediktinerinnenkloster Dierstein, das bereits 1153 erwähnt wird und wohl von den Grafen von Diez gestiftet wurde. Die zweite Kirche wurde 1221 Johannes d. T. geweiht. Das reich begüterte Kloster ist 1564 aufgehoben worden, seit 1634 war es eine Ruine.
Anstelle dieses ehemaligen Klosters ist zunächst der Hauptflügel des heutigen Schlosses zwischen 1672-84 durch Fürstin Albertine Agnes von Nassau-Diez, Prinzessin von Oranien, wahrscheinlich nach Plänen eines Mainzer Architekten als außerhalb von Diez gelegener Witwensitz erbaut worden.

Der in den Einzelheiten stark vom niederländischen Barock beeinflusste Bau im Stil französischer Schlossbautradition liegt über Felsen am Lahnufer in der Achse einer 1707 angelegten, zur Stadt führenden Lindenallee.
Das einst inmitten einer großzügigen Gartenanlage gelegene Schloss besteht aus fünf Flügeln, die drei mittleren sind um einen schmalen, tiefen Ehrenhof angeordnet, die zwei übrigen beiderseits in die Vorderflucht eingepasst. Der dreistöckige, ältere Mittelbau, der die herrschaftlichen Wohn- und Repräsentationsräume enthielt, ist an beiden Enden mit halbrunden, turmartigen Ausbauten versehen, die in großen Rundhauben mit achteckigen Haubenlaternen enden, wobei der östliche über der Apsis der ehem. romanischen Kirche errichtet wurde.
An der südlichen, der Hofseite befindet sich ein Laubengang mit reicher Stuckdecke. Die mittlere Fensterachse wird betont durch zwei übereinander liegende Balkone mit zierlichen Gittern zwischen Quaderlisenen und ein breiteres Zwerchhaus mit Segmentgiebel am Dach.